跳到主要内容

内容安全管理

敏感词管理

敏感词管理功能允许用户定义、查看和管理敏感词列表。通过此功能,用户可以控制和过滤掉不希望出现的内容,以符合特定的合规要求或社区准则。

敏感词管理页面的主要功能包括:

  • 新增敏感词:添加新的敏感词到列表中,以确保它们在未来的内容中被识别和处理。
  • 查看敏感词列表:提供所有已定义敏感词的概览,包括它们的启用状态、描述和创建时间。
  • 管理敏感词:允许用户启用或禁用特定的敏感词,以及更新它们的描述信息。


内容审核模型

置信度(Confidence)通常是指一个模型或系统对其预测结果的确信程度。

在内容审核模型的上下文中,置信度阈值设置是一个重要的功能,它允许用户定义模型在标记内容为特定类别(如垃圾邮件、不适当内容等)之前必须达到的最低置信度水平。这样做可以减少误报或漏报的数量,具体取决于阈值的设置。

例如,如果置信度阈值设置为0.8,那么只有当模型对其预测结果的置信度至少为80%时,它才会将内容标记为不适当。这有助于确保只有那些模型非常确信的案例才会被采取行动。